Sau đó Trương Yên lại cất quân chống triều đình. Triều đình bổ nhiệm Chu Tuấn làm Thái thú Hà Nội, mang quân đánh bại được Trương Yên.

Trương Yên vẫn không hoàn toàn chịu thần phục, sau này lại chiếm cứ Hắc Sơn, thanh thế có hàng chục vạn quân. Năm 199, sứ quân Công Tôn Toản giao tranh với Viên Thiệu bị vây, bèn sai em là Công Tôn Tục sang Hắc Sơn cầu cứu Trương Yên. Trương Yên nhận lời, dẫn 10 vạn quân chia làm 3 đường đi cứu Công Tôn Toản. Quân cứu viện sắp đến, hẹn Công Tôn Toản đến giờ đốt lửa làm hiệu sẽ cùng giáp công trong ngoài. Nhưng thư bị Viên Thiệu bắt được. Thiệu bèn đốt lửa lừa Công Tôn Toản ra quân rồi phục binh đánh giết. Công Tôn Toản thất bại tự sát. Trương Yên thấy vậy lui binh.